# 정규화

## 개요

정규화(Normalization)는 데이터과학과 머신러닝 분야에서 모델의 성능을 향상시키고 학습 과정을 안정화하기 위해 사용되는 핵심 기법 중 하나입니다. 주로 입력 데이터나 모델 내부의 활성값(activations)을 특정 범위나 분포로 조정함으로써 기울기 소실(gradient vanishing) 또는 기울기 폭주(gradient exploding)와 같은 문제를 완화하고, 모델이 더 빠르고 효과적으로 수렴할 수 있도록 돕습니다. 정규화는 데이터 전처리 단계에서부터 신경망의 내부 계층에 이르기까지 다양한 맥락에서 적용되며, 특히 깊은 신경망에서 그 중요성이 두드러집니다.

본 문서에서는 주요 정규화 기법들의 원리, 종류, 적용 사례 및 장단점을 체계적으로 설명합니다.

## 정규화의 목적

정규화는 다음과 같은 주요 목적을 가지고 있습니다:

- **학습 속도 향상**: 입력 데이터의 스케일이 일정하지 않으면 경사하강법(gradient descent)이 비효율적으로 진행될 수 있습니다. 정규화를 통해 각 특성(feature)이 유사한 스케일을 가지도록 하면 최적화 과정이 원활해집니다.
- **수치적 안정성 확보**: 너무 큰 값이나 너무 작은 값이 연산에 포함되면 부동소수점 오버플로우 또는 언더플로우가 발생할 수 있습니다. 정규화는 이러한 문제를 예방합니다.
- **모델 일반화 능력 향상**: 과적합(overfitting)을 줄이고, 훈련 데이터 외의 새로운 데이터에 대해 더 잘 작동하도록 합니다.
- **기울기 안정화**: 깊은 네트워크에서 기울기의 크기가 계층을 거치며 급격히 변화하는 것을 방지합니다.

## 주요 정규화 기법

### 1. 데이터 정규화 (Data Normalization)

훈련 데이터의 특성 값을 일정한 범위로 조정하는 전처리 단계입니다. 대표적인 방법은 다음과 같습니다.

#### Min-Max 정규화
모든 값을 0과 1 사이의 범위로 스케일링합니다.

\[
X_{\text{norm}} = \frac{X - X_{\min}}{X_{\max} - X_{\min}}
\]

- **장점**: 간단하고 직관적
- **단점**: 이상치(outliers)에 민감함

#### Z-점수 정규화 (표준화, Standardization)
평균을 0, 표준편차를 1로 만드는 방법입니다.

\[
X_{\text{std}} = \frac{X - \mu}{\sigma}
\]

- **장점**: 이상치에 비교적 강건하며, 가우시안 분포를 가정하는 모델과 잘 어울림
- **사용 사례**: 선형 회귀, 로지스틱 회귀, SVM 등

### 2. 배치 정규화 (Batch Normalization)

2015년 Sergey Ioffe와 Christian Szegedy가 제안한 기법으로, 신경망의 각 계층에서 활성값을 정규화합니다. 배치 단위로 평균과 분산을 계산하여 정규화합니다.

\[
\hat{x} = \frac{x - \mu_B}{\sqrt{\sigma_B^2 + \epsilon}}, \quad y = \gamma \hat{x} + \beta
\]

여기서:
- \( \mu_B \): 배치 내 평균
- \( \sigma_B^2 \): 배치 내 분산
- \( \gamma, \beta \): 학습 가능한 스케일 및 오프셋 파라미터
- \( \epsilon \): 수치 안정성을 위한 작은 상수

- **장점**:
  - 내부 공변량 이동(Internal Covariate Shift) 감소
  - 더 높은 학습률 사용 가능
  - 일부 드롭아웃(dropout) 기능을 대체할 수 있음
- **단점**:
  - 작은 배치 크기에서는 불안정할 수 있음
  - 추론(inference) 시 이동 평균(moving average)을 유지해야 함

### 3. 레이어 정규화 (Layer Normalization)

배치 정규화의 대안으로, 배치 차원이 아닌 **특성 차원**을 기준으로 정규화합니다. 따라서 배치 크기에 영향을 받지 않아 RNN, 트랜스포머(Transformer)와 같은 시퀀스 모델에서 유리합니다.

\[
\hat{x}_i = \frac{x_i - \mu_L}{\sqrt{\sigma_L^2 + \epsilon}}, \quad \mu_L = \frac{1}{H}\sum_{i=1}^H x_i
\]

- **장점**: 배치 크기와 무관, 시퀀스 모델에 적합
- **사용 사례**: BERT, GPT 등 트랜스포머 기반 모델

### 4. 인스턴스 정규화 (Instance Normalization)

이미지 스타일 전이(image style transfer)에서 주로 사용되며, 각 샘플의 각 채널(channel)별로 정규화합니다. 즉, 배치 내 각 이미지의 픽셀 값이 정규화됩니다.

- **특징**: 스타일 정보를 보존하면서 콘텐츠를 정규화하는 데 효과적

### 5. 그룹 정규화 (Group Normalization)

채널을 여러 그룹으로 나누고, 각 그룹 내에서 정규화를 수행합니다. 배치 정규화와 레이어 정규화의 중간 형태입니다.

- **장점**: 배치 크기에 영향을 받지 않으면서도 성능이 우수
- **사용 사례**: 작은 배치 크기의 이미지 분할, 객체 검출

## 정규화 선택 기준

| 기법 | 적합한 모델 | 배치 크기 의존성 | 주요 장점 |
|------|-------------|------------------|-----------|
| Min-Max / Z-점수 | 대부분의 전통적 ML 모델 | 없음 | 전처리 단계에서 간단히 적용 가능 |
| 배치 정규화 | CNN, MLP | 높음 | 빠른 수렴, 높은 학습률 허용 |
| 레이어 정규화 | RNN, 트랜스포머 | 없음 | 시퀀스 모델에 최적화 |
| 인스턴스 정규화 | 스타일 전이, 생성 모델 | 없음 | 이미지별 정규화로 스타일 보존 |
| 그룹 정규화 | 작은 배치 CNN | 낮음 | 정밀한 정규화와 안정성 제공 |

## 참고 자료 및 관련 문서

- Ioffe, S., & Szegedy, C. (2015). ["Batch Normalization: Accelerating Deep Network Training by Reducing Internal Covariate Shift"](https://arxiv.org/abs/1502.03167). *ICML*.
- Ba, J. L., Kiros, J. R., & Hinton, G. E. (2016). ["Layer Normalization"](https://arxiv.org/abs/1607.06450). *arXiv preprint*.
- Wu, Y., & He, K. (2018). ["Group Normalization"](https://arxiv.org/abs/1803.08494). *ECCV*.

## 관련 문서

- [기울기 소실 문제](https://ko.wikipedia.org/wiki/기울기_소실_문제)
- [드롭아웃](https://ko.wikipedia.org/wiki/드롭아웃_(신경망))
- [데이터 전처리](https://ko.wikipedia.org/wiki/데이터_전처리)
- [신경망 최적화](https://ko.wikipedia.org/wiki/신경망_최적화)

정규화는 현대 딥러닝 모델의 성능을 결정짓는 핵심 요소 중 하나이며, 문제의 성격과 모델 구조에 따라 적절한 정규화 기법을 선택하는 것이 중요합니다.